Net zoals een aantal andere laaglandkastelen van de provincie Namen, bestond het kasteel van Jannée oorspronkelijk uit een slottoren omringd en beschermd door slotgrachten. Vanaf de middeleeuwen tot het begin 17e eeuw was de slottoren, vanwege de nabijheid van de Trierweg, een toevluchtsoord voor mensen en goederen tijdens talrijke aanvallen.
Omstreeks 1630 liet Thomas Woot de Trixhe, na zijn huwelijk met Claudine de Rougrave, op de ruïnes van de slottoren een residentieel kasteel in U-vorm bouwen. De loop van de oorspronkelijke slotgrachten bleef daarbij bewaard. In de loop van de negentiende eeuw werd het kasteel uitgebreid met een toren aan elke hoek.
De laatste twee oorlogen heeft het kasteel niet zonder schade overleefd. Het werd omgevormd tot een Duits ziekenhuis in 1914 en vervolgens tot een Engels ziekenhuis in 1944. Het werd in augustus 1944 bijna verwoest door brand tijdens een confrontatie tussen het Waalse Legioen en het Geheime Leger. Alle bewoners werden gearresteerd en bijna de helft stierf in de kampen.
In zijn huidige vorm schittert het kasteel vooral door de kwaliteit van zijn stenen en de sobere lijnen. Rond het kasteel ligt een vijftien hectare park met prachtige oude bomen en een vijver waarin het kasteel zich weerspiegelt. Het kasteel van Jannée staat open voor verblijf en allerlei festiviteiten.